Diseño y Evaluación de una Teoría de Diseño de Sistemas de Información para un Sistema Multimedia Interactivo

La Teoría de Diseño de Sistemas de Información, es una metodología propuesta por Walls y Widmeyer (1992) que consiste en un conjunto de teorías descriptivas, que ofrecen principios y guías que permiten dar soluciones a los desarrolladores y diseñadores de sistemas, buscando lograr el diseño de herramientas de software que sean incluyentes, flexibles y que estén estrechamente integradas con las necesidades de sus usuarios (Markus and Majchrzak, 2002). Esta investigación describe el diseño y prueba de una Teoría de Diseño de Sistemas de Información para un Sistema Multimedia Interactivo. La Teoría fue diseñada, desarrollada y probada empíricamente mediante un estudio que se llevó a cabo en la Universidad Autónoma de Aguascalientes, México. El estudio identificó cómo el uso de un sistema multimedia interactivo, permite mejorar el desempeño de los estudiantes, comparado con la enseñanza tradicional o la apoyada con el uso de páginas Web. Palabras Clave Teoría de diseño de sistemas de información, sistemas multimedia interactivos, enseñanza tradicional, enseñanza con tecnología, aprendizaje. INTRODUCCION El desarrollo de las nuevas Tecnologías de Información y Comunicación (TIC) ha hecho posible el intercambio de ideas, experiencias y conocimientos entre millones de seres humanos (Alfonso, 2003), por lo que las instituciones educativas se encuentran en transición. La evolución tecnológica demanda sistemas de enseñanza aprendizaje flexibles y accesibles a los estudiantes (Anderson, 2005), por lo que las instituciones educativas se encuentran adaptando sus procesos a los avances tecnológicos (Cabero, 1996, Salinas, 2000), mediante el uso de herramientas revolucionarias en el apoyo a la enseñanza, tales como páginas Web y sistemas multimedia interactivos (Bartolomé, 1998). Estudios previos (Garza and Leventhal, 2003, Vaccarezza and Rodríguez, 1998, Belendez, 1996, De Sánchez, 1998, Pérez, 2005, Simbandumwe, 2001) mencionan que uno de los problemas que se presentan en la enseñanza tradicional es la solución y comprensión de temas complejos, los cuales resultan difíciles de identificar y entender por parte de los alumnos, y para los profesores muchas de las veces son difíciles de explicar. Tales estudios mencionan que una forma de dar solución a este tipo de problemas es incrementando el interés y uso de tecnología por parte de académicos y alumnos (Simbandumwe, 2001, Díaz-Barriga and Hernández, 1992). El área computacional cuenta con varios temas difíciles de entender, analizar y resolver (Hartmann and Hopcroft, 1971), donde hasta el momento la enseñanza tradicional y la enseñanza con el uso de tecnología han propuesto formas para solucionar el problema (Anderson, 2005), pero lamentablemente los métodos didácticos tradicionales están en función de los objetivos del tema a enseñar (Sebastián, 1984, Suraniti et al., 2004) y, por otra parte, la enseñanza con tecnología que se lleva a cabo mediante paginas Web sufre el problema de que dichas páginas no son actualizadas constantemente y no presentan información atractiva para los estudiantes (Lynch and Horton, 1999), por lo que no se han obtenido los resultados esperados. Hoy en día los sistemas multimedia existentes representan una poderosa herramienta para lograr en los alumnos el pensamiento crítico y para desarrollar actividades de resolución de problemas complejos (Tucker and Barker, 1999). A pesar de esto, los sistemas multimedia están basados en opiniones de expertos más que en investigación empírica (Adell et al., 1998, Arens et al., 1993, Feiner and McKeown, 1991). Esto provoca el diseño inadecuado del software y retarda el proceso de fabricación de sistemas multimedia eficaces (Walls et al., 1992). Muñoz Andrade Estela L., Gómez Reynoso Juan M. Diseño y Evaluación de una Teoría de Diseño de Sistemas Proceedings of the Seventeenth Americas Conference on Information Systems, Detroit, Michigan August 4-7 2011 2 Dentro del ámbito de la Ingeniería de Software se ha introducido una serie de estándares para medir y certificar la calidad, tanto del sistema a desarrollar, como del proceso de desarrollo. También, se ha buscado construir sistemas multimedia bajo diferentes perspectivas, una de ellas es el análisis de requerimientos (Sommerville, 2001), pero ésta presenta el problema de que en ocasiones al momento de la entrevista con el usuario, para obtener el listado de características que debe cubrir el sistema, se da por hecho que el cliente o usuario ya ha mencionado con detalle lo que espera que el software realice, lo cual genera un sistema muchas veces poco funcional. Un número creciente de herramientas automatizadas han surgido para ayudar a definir y aplicar un proceso de desarrollo de software efectivo. Sin embargo, estas perspectivas de desarrollo generan fallos en los proyectos de software, así como problemas de calidad (Rodríguez-Gutiérrez, 2005). Esto nos lleva la necesidad de cuestionar cómo la ingeniería de software en sus diversos modelos podría contemplar más a fondo el aspecto del dominio del conocimiento del software a desarrollar. Es importante recalcar que el proceso de diseño de un sistema de software resulta difícil de efectuar (Sommerville, 2001) y una solución a este problema es hacer uso de la Teoría de Diseño de Sistemas de Información (Walls et al., 1992). De tal forma que este estudio pretende contestar las siguientes preguntas de investigación: ¿Es posible generar una herramienta multimedia-interactiva mediante la Teoría de Diseño de Sistemas de Información, que cuente con el soporte teórico que asegure que dicho sistema servirá como apoyo en la enseñanza de temas complejos? ¿El uso de la Teoría de Diseño de Sistemas de Información para un sistema multimedia interactivo produce mejoras significativas en el aprendizaje de los alumnos comparado con medios tradicionales de enseñanza así como la enseñanza mediante páginas Web? Además, se busca probar la hipótesis siguiente: El uso de la Teoría de Diseño de Sistemas de Información para un sistema multimedia interactivo produce mejoras significativas en el aprendizaje de los alumnos comparado con medios tradicionales de enseñanza así como la enseñanza mediante páginas Web. MARCO CONCEPTUAL DE LA TEORÍA DE DISEÑO DE SISTEMAS DE INFORMACIÓN La Teoría de Diseño de Sistemas de Información (sus siglas en inglés ISDT), es una metodología propuesta por Walls y Widmeyer (1992) que consiste en un conjunto de teorías descriptivas, que ofrecen principios, que sirven como guía para el desarrollo de herramientas de software que estén estrechamente integradas con las necesidades de los usuarios (Markus and Majchrzak, 2002). Para los diseñadores de sistemas, la ISDT resulta benéfica, porque permite incrementar la fiabilidad de desarrollo de sus productos y las posibilidades de éxito, ya que al proporcionar principios, derivados de un conjunto de teorías denominadas teorías núcleo, se limita la gama de características del sistema y las actividades a desarrollar (Walls et al., 1992). Se puede resumir que el enfoque principal de esta teoría consiste en proporcionar una guía que indica cómo diseñar y dar soporte a un tipo de sistema de información en particular, identificando las necesidades del usuario, un tipo de solución del sistema con características distintivas y un conjunto de prácticas de desarrollo eficaces (Markus and Majchrzak, 2002). La creación de artefactos (herramientas de software) está basada en las teorías núcleo que son aplicadas, probadas y modificadas, con el fin de alcanzar los objetivos específicos del sistema (Gregor, 2002, Walls et al., 1992). El diseño de una ISDT tiene una doble función (Walls et al., 1992) ya que es necesario identificar los componentes que tienen que ver tanto con el diseño del producto, así como con el diseño del el proceso. Ambos componentes del ISDT están soportados en teorías núcleo (Sarker and Lee, 2001) que permiten la formulación de predicciones empíricamente comprobables relacionadas con la teoría de diseño. Muñoz Andrade Estela L., Gómez Reynoso Juan M. Diseño y Evaluación de una Teoría de Diseño de Sistemas Proceedings of the Seventeenth Americas Conference on Information Systems, Detroit, Michigan August 4-7 2011 3 METODOLOGIA La metodología del estudio consistió en elaborar los elementos que muestra la figura1, mismos que se desarrollan en las siguientes secciones. Figura 1. Modelo de Desarrollo de un Sistema Multimedia-Interactivo (SMI) (adaptado de (Blum, 1995, Walls et al., 1992) Desarrollo de la Teoría de Diseño de Sistemas de Información El primer elemento de la metodología de este estudio consistió en crear el ISDT, para lo cual fue necesario desarrollar y probar las fases que maneja la Teoría de Diseño de Walls (1992), de tal forma que se desarrollaron dos fases: Diseño del Producto y Diseño del Proceso. El diseño del producto consistió en la estructuración de los componentes y actividades que dan lugar a las características esenciales (meta-requerimientos) con las cuales debe contar el sistema multimedia-interactivo. El diseño, es un prerrequisito para el desarrollo del sistema, y el producto de esta etapa es un conjunto de operaciones en forma de especificaciones (metadiseño), en las cuales se indican las características que se desea contenga el producto de software. La clave para el diseño de una ISDT consiste en determinar qué resultados se quieren lograr con el uso del sistema, y luego, identificar las teorías núcleo apropiadas para alcanzar dichos resultados. Las teorías núcleo del sistema multimedia son fuente de autoridad para la toma de decisiones en el diseño de un sistema, ya que proporcionan marcos racionales para pensar y distinguir opciones que pueden ser más productivas y tener mayor rentabilidad en el desarrollo de un sistema (Walls et al., 1992), en comparación con el simple análisis de requerimientos que realiza un desarrollador de software con su cliente (Sommerville, 2001). La Tabla 1 presenta el conjunto de teorías núcleo para el Sistema Multimedia Interactivo. Teoría Núcleo Diseño de interfases de usuario Interacción significativa Plantillas hipermedia Teoría cognitiva Teoría de codificación dual Teoría del comportamiento Teoría de Diseño de Sistemas Multimedia Teoría humanística, social y afectiva Tabla 1. Teorías Núcleo del Diseño del Producto de un Sistema Multimedia Interactivo Los meta-requerimientos son la declaración de los servicios, el listado de las limitaciones y cualidades de los servicios que debe ofrecer el sistema. Los meta-requerimientos se obtienen a partir de las teorías núcleo. La Tabla 2 muestra los metarequerimientos para un sistema multimedia interactivo. Meta-Requerimientos Diseño de la interfase. Estructura del programa. Evaluación. Muñoz Andrade Estela L., Gómez Reynoso Juan M. Diseño y Evaluación de una Teoría de Diseño de Sistemas Proceedings of the Seventeenth Americas Conference on Information Systems, Detroit, Michigan August 4-7 2011 4 Gestión y administración. Integración. Interactividad. Navegación. Personalización. Variedad. Tabla 2. Meta-Requerimientos del Diseño del Producto de un Sistema Multimedia Interactivo Otro de los componentes para crear la ISDT para el sistema multimedia interactivo es el meta-diseño, el cual encapsula una serie de características o principios de diseño para satisfacer los meta-requerimientos. La Tabla 3 muestra las características relacionadas con las tareas específicas que debe ofrecer el sistema multimedia interactivo. Principios de Diseño Adaptar el sistema de manera que pueda acoger los diferentes tipos de aprendizaje de los usuarios. Apoyar a los usuarios inexpertos agregando funcionalidades al sistema, por lo que el sistema debe ser fácil de usar y de aprender. Encontrar el modo de facilitar la interacción de los usuarios con el sistema, y minimizar su curva de aprendizaje. Estructuración y presentación de contenidos de manera que las interfases proporcionen una variedad de capacidades de comunicación entre usuario-sistema. Hacer uso de patrones de diseño orientado a objetos. Hacer uso de plataformas independientes de forma que el sistema pueda ser manejado en cualquier tipo de sistema operativo. Hacer uso de software de código abierto plantillas hipermedia y scripting language. Incorporar mecanismos adecuados que reduzcan al mínimo el grado de errores. Tabla 3. Principios del Diseño del Producto de un Sistema Multimedia Interactivo La segunda fase, diseño del proceso según Walls et al. (1992) consiste en la secuencia de operaciones que transforman los datos de entrada en salidas. Para el caso del ISDT del sistema multimedia interactivo, el diseño del proceso consistió en aplicar el uso de tecnología (en nuestro caso de la ingeniería de software y la programación de sistemas) para convertir los meta-requerimientos y los principios de diseño en una herramienta de software. Entre los elementos fundamentales del proceso de diseño se encuentran el establecimiento de objetivos y criterios, síntesis, análisis, construcción, pruebas y evaluación de la herramienta. Las teorías núcleo del diseño del proceso representan el conjunto de disciplinas que se toman como referencia para el diseño del proceso del ISDT para el sistema multimedia interactivo. La Tabla 4 muestra un resumen de las teorías núcleo utilizadas para el diseño del proceso. Teoría Núcleo UML. Estándar para describir un modelo del sistema (Jézéquel et al., 2002). Desarrollo de Prototipos. Desarrollo de sistemas de forma rápida y de bajo costo, para que los usuarios puedan evaluarlo (Sommerville, 2001). Teoría de Diseño de Sistemas Multimedia Interactivos. Permite desarrollar software multimediainteractivo (Blum, 1995). Tabla 4. Teorías Núcleo del Diseño del Proceso del Sistema Multimedia Interactivo De manera similar que en el diseño del producto, en el Diseño del Proceso se generaron los meta-requerimientos para el sistema multimedia-interactivo, la Tabla 5 muestra tales meta-requerimientos: Muñoz Andrade Estela L., Gómez Reynoso Juan M. Diseño y Evaluación de una Teoría de Diseño de Sistemas Proceedings of the Seventeenth Americas Conference on Information Systems, Detroit, Michigan August 4-7 2011 5 Meta-Requerimientos Plantillas predeterminadas para cargar los contenidos de un tema en específico. Interacción continua, concentración de actividades, creación de nuevos procesos y mejorando los actuales. Hacer uso de metodologías de desarrollo ágil y emergente para creación de sistemas multimedia interactivos. Mantener una estrecha relación entre usuarios y desarrolladores. Creación de prototipos a través de sus diversas formas (dibujo, diseño). Producción de herramientas innovadoras que permitan aplicar ideas nuevas. Incluir interfases fáciles de usar, así como contener comentarios o ayuda en línea que guíe al usuario en cada momento. Evaluación continúa del uso del sistema. Controlar y procesar la información personal del usuario. Organizar el diseño alrededor de las actividades informales y no estructuradas. Tabla 5. Meta-Requerimientos del Diseño del Proceso de un Sistema Multimedia Interactivo Desarrollo del Sistema Multimedia Interactivo Como se ha mencionado, la ISDT proporciona una guía para el desarrollo de cualquier tipo de herramienta de software. El segundo elemento de la metodología de éste estudio consistió en el desarrollo del Sistema Multimedia – Interactivo (SMI). Para el desarrollo del SMI se tomó en cuenta la atención dirigida al usuario y sus tareas, las mediciones empíricas y el diseño interactivo. Estos elementos representan una referencia importante de la ingeniería de usabilidad (Heum, 1999). Si bien el diseño de un programa es importante, el diseño del material educativo y el diseño de la interfase de usuario son los aspectos más importantes con que debe contar un sistema (Blum, 1995). La metodología de Blum (1995) sirvió como modelo para desarrollar el software multimedia interactivo tomando en cuenta el diseño instruccional, los objetivos de aprendizaje, las decisiones acerca del contenido, el modelo cognitivo y el prototipo del sistema. Además, fue necesario analizar todos los elementos que conforman este tipo de sistemas, tales como la estructura, interactividad, texto, imágenes, animación y sonido del sistema, entre otros, que, aunque son desarrollados por separado, deben ser integrados en un todo (Vaughan, 2008). PRUEBAS El tercer elemento de la metodología son las pruebas tanto del SMI como de la ISDT. Las pruebas se llevaron a cabo en dos partes, la primera consistió en probar el Sistema Multimedia para asegurar que este era funcional y así poder llevar a cabo la segunda fase que era probar el ISDT haciendo uso del sistema multimedia. Prueba del SMI Una vez que se construyó el prototipo del SMI se procedió a su evaluación. Primero se evaluó la herramienta con expertos en el tema de estructura de datos y después se realizó una prueba de usabilidad con un grupo de estudiantes para evaluar la calidad del artefacto mediante una prueba de Usabilidad (Preece et al., 2006). Una vez aplicada la encuesta y recolectados los datos, se llevó a cabo el análisis estadístico de los mismos haciendo uso de una prueba de normalidad, misma que nos permitió evaluar aspectos de calidad sugeridos en la literatura previa (Heum, 1999, Sangrá and González, 2002). Los resultados de la estadística descriptiva indican que la herramienta satisface cada uno de los aspectos de calidad mínimos sugeridos por la literatura (Heum, 1999, Sangrá and González, 2002) y que la distribución de los datos es normal. Los elementos evaluados fueron la facilidad de interacción entre el usuario y computadora (μ=4.40), uso de retroalimentación (μ=4.24), aprendizaje activo (μ=4.56), rapidez (μ=4.88), comunicación alumno-profesor (μ=4.00) y comunicación alumnoalumno (μ=3.20), todos estos elementos son requeridos para que pueda ser utilizado el SMI sin problema alguno. Muñoz Andrade Estela L., Gómez Reynoso Juan M. Diseño y Evaluación de una Teoría de Diseño de Sistemas Proceedings of the Seventeenth Americas Conference on Information Systems, Detroit, Michigan August 4-7 2011 6 Prueba del ISDT El diseño experimental que se siguió para probar el Sistema Multimedia Interactivo y de esta forma, probar la hipótesis de la presente se crearon tres grupos: el grupo de control (GC), el grupo páginas Web (GW) y el grupo multimedia interactivo (GMI). El estudio se llevó a cabo en la Universidad Autónoma de Aguascalientes, donde se invitó a participar a 73 estudiantes del programa educativo de Ingeniería en Sistemas Computacionales. Se estableció como prerrequisito para participar en el estudio, que el alumno tuviera aprobada la materia Programación y que contara con conocimientos en diversos temas de programación tales como, estructuras condicionales y de control, apuntadores y memoria dinámica y conocimientos básicos de las estructuras de datos como arreglos. Se tuvo una participación del 83.56% (61 estudiantes) en el estudio, el resto de los participantes no se incluyó por no cumplir con los prerrequisitos establecidos. El perfil de estos estudiantes aseguró homogeneidad en sus conocimientos base, lo cual elimina el posible sesgo. Esto se aseguró verificando el kárdex de los alumnos que participaron en el estudio. La unidad de análisis de este trabajo es el tema de árboles binarios, el cual es visto en la materia de estructura de datos que es parte de la currícula de la carrera de Ingeniería en Sistemas Computacionales. La tecnología fue asignada de forma aleatoria sin reemplazo a cada grupo. Los grupos no fueron creados siguiendo ninguna estrategia, simplemente se tomaron los grupos de estudiantes ya existentes. La Institución cuenta con tres grupos de la carrera de Ing. en Sistemas Computacionales cursando la materia de estructura de datos, de tal forma que los grupos fueron seleccionados de manera directa. El GC le correspondió al grupo de 12 estudiantes; al GW al de 26 estudiantes; finalmente, el GMI correspondió al grupo de 23 estudiantes. Con el fin de evitar efectos debido a estilos de enseñanza, un solo profesor impartió el contenido de los materiales utilizados en los tres grupos. Además, se siguió exactamente con la misma secuencia de temas, por lo que se controlaron los posibles efectos relacionados con los materiales de estudio. El GC recibió la instrucción de manera Tradicional haciendo uso de un documento en formato PDF y un proyector. El GW recibió la instrucción haciendo uso de una página Web previamente diseñada para este estudio. El grupo GMI, recibió la instrucción haciendo uso del Sistema Multimedia Interactivo diseñado con la Teoría de Diseño de Sistemas de Walls et al. (1992), la cual contiene la misma información que el material del GC. A cada grupo se le impartió una sesión de entrenamiento con duración de tres horas, donde el instructor se encargó de impartir el tema de aprendizaje, resolver dudas y guiar a los participantes en la solución de ejercicios. Los participantes de cada grupo hicieron uso de la tecnología que le fue asignada previamente. Al finalizar la sesión en cada grupo, para determinar si los participantes aprendieron el tema de estructura de datos (árboles binarios) los participantes contestaron un examen. Recolección de Datos y Análisis de Resultados La Tabla 6 muestra la estadística descriptiva de los datos del examen final que fue aplicado a los estudiantes en cada uno de los tres grupos. La calificación del examen se calculó con base a 100 puntos. En la tabla se puede observar que en promedio los participantes del GC (63.33) y el GW (60.38) tuvieron un desempeño equivalente y no existe diferencia significativa entre ellos. Ahora bien, al comparar dichos grupos con el GMI se puede observar que ambos tuvieron un desempeño significativamente menor. Existe una diferencia en el promedio de 23.19% y 26.14% respectivamente. 95% Intervalo de Confianza para la Media N Media Desviación Estándar Error Estándar Lím. Inf. Lím. Sup Min Max Diferencia entre varianzas GC 12 63.33 14.975 4.323 53.82 72.85 40 80 GW 26 60.38 18.651 3.658 52.85 67.92 20 90 GMI 23 86.52 9.346 1.949 82.48 90.56 70 100 Total 61 70.82 19.261 2.466 65.89 75.75 20 100 Modelo Efectos fijos 15.020 1.923 66.97 74.67 Muñoz Andrade Estela L., Gómez Reynoso Juan M. Diseño y Evaluación de una Teoría de Diseño de Sistemas Proceedings of the Seventeenth Americas Conference on Information Systems, Detroit, Michigan August 4-7 2011 7 95% Intervalo de Confianza para la Media N Media Desviación Estándar Error Estándar Lím. Inf. Lím. Sup Min Max Diferencia entre varianzas GC 12 63.33 14.975 4.323 53.82 72.85 40 80 GW 26 60.38 18.651 3.658 52.85 67.92 20 90 GMI 23 86.52 9.346 1.949 82.48 90.56 70 100 Total 61 70.82 19.261 2.466 65.89 75.75 20 100 Efectos fijos 15.020 1.923 66.97 74.67 Efectos aleatorios 9.221 31.14 110.49 224.334 Tabla 6. Estadística Descriptiva del Examen Final Adicionalmente, se registró el tiempo utilizado para completar el examen para cada participante con el fin de analizar si existe correlación entre el tiempo y la calificación obtenida. La Tabla 7 muestra los valores de correlación de los tres grupos de participantes (GC, -0.261; GW, -0.114; y GMI, 0.166). Por lo tanto, no existe correlación alguna entre la calificación obtenida y el tiempo utilizado para responder el examen. GC GW GMI Tiempo Examen Resultado Final Tiempo Examen Resultado Final Tiempo Examen Resultado Final Pearson Correlation 1.000 -.261 1.000 -.114 1.000 .166 Sig. (2-tailed) .413 .581 .449 Tiempo Examen N 12 12 26 26 23 23 Pearson Correlation -.261 1.000 -.114 1.000 .166 1.000 Sig. (2-tailed) .413 .581 .449 Resultado Final N 12 12 26 26 23 23 Tabla 7. Análisis de Correlación Tiempo vs. Calificación Antes de verificar si existen diferencias entre los resultados de los tres grupos, se realizó la prueba de Levene, mediante la cual se comprobó si existían diferencias entre las varianzas de los grupos, ya que de cumplirse o no esta condición dependerá la comparación de los resultados de los grupos y así poder determinar cuál de los tres grupos obtuvo mejores resultados. La Tabla 8 muestra los resultados de la prueba de homogeneidad donde se puede ver que los tres grupos son homogéneos (sig=0.085). Levene Statistic df1 df2 Sig.